Будущее без работы. Технология, автоматизация и стоит ли их бояться - Даниэль Сасскинд

назад, если вы пытались использовать алгоритм распознавания изображений Google для маркировки фотографий, он мог обозначить чернокожих людей как «горилл»; компания справилась с этой проблемой, удалив этот тег из своего алгоритма[611]. Способность Google поднимать или опускать определенные веб-сайты в поисковике тоже вызывает опасения: говорят, что эту функцию использовали для удаления файлообменных сайтов из результатов поиска[612]. В последние годы YouTube, принадлежащий Google, подвергался критике за то, что рекомендовал к просмотру крайне правые видеоролики и каналы антипрививочников, терпимо относился к разжиганию ненависти и поощрял педофилию[613].

Или возьмем Facebook. Компания провела внутренний эксперимент, показавший, что демонстрация положительных или отрицательных историй может влиять на эмоции пользователей; 689 тысяч пользователей, участвовавших в нем, не знали, что они были подопытными кроликами[614]. Только по «лайкам» человека можно в 88 % случаев правильно угадать его сексуальность; говорят, что этот метод помогает рекламодателям понять, что и кому они показывают[615]. Министерство жилищного строительства и городского развития США подало на Facebook в суд за то, что компания позволила рекламодателям намеренно таргетировать рекламу на основании расовой, половой и религиозной принадлежности; эти группы по-прежнему получают различную рекламу[616]. Во время президентских выборов в США в 2016 году Россия покупала рекламу на Facebook и создавала группы, сеявшие рознь среди избирателей; Facebook идентифицировал несколько тысяч таких групп, но уже после того, как ущерб был нанесен[617]. В ходе исследования более трех тысяч нападений на беженцев в Германии выяснилось, что в регионах, где чаще пользовались Facebook, нападений было намного больше, а разжигающие ненависть высказывания ультраправой партии «Альтернатива для Германии» (AfD) трансформировались в реальные насильственные преступления[618].

А еще есть Amazon. В 2009 году после тяжбы с одним электронным издательством она проникла в каждое устройство Kindle и удалила все электронные книги, купленные пользователями у этой компании; по иронии судьбы среди них был и «1984» Джорджа Оруэлла[619]. В 2017 году Amazon выставила на продажу набор чехлов для iPhone с такими изображениями, как заполненные героином шприцы, старик с костылем, одетый в гигантский подгузник, и крупный план ногтей на ногах, зараженных грибком; алгоритм выбирал стоковые изображения из Интернета и создавал эскизы продуктов без какого-либо контроля со стороны человека[620]. В 2015 году устройство Amazon Echo, записывающее любые команды или вопросы, заданные ему, было единственным «свидетелем» предполагаемого убийства в Арканзасе, и обвинение пыталось получить запись произошедшего (в конце концов дело было прекращено)[621].

Или возьмите Apple. Компания полностью контролирует приложения, которые могут появиться на iPhone: она отказалась разместить приложение, критикующее ее методы производства, но поддержала приложение, критично относящееся к науке об изменении климата; запретила электронного помощника, отслеживающего удары американских беспилотников, но разрешила приложение, позволяющее мужчинам в Саудовской Аравии следить за женщинами и ограничивать их движения[622]. В 2016 году Apple отказалась помочь правительству США разблокировать iPhone одного из террористов, участвовавших в массовом расстреле в Сан-Бернардино, утверждая, что, принуждая ее писать новое программное обеспечение для взлома шифра, власти нарушают свободу слова[623].

И, наконец, Microsoft. В 2016 году компания запустила твиттер-бота Тау, способного учиться у других пользователей твиттера и имитировать речь девочки-подростка. Его очень быстро удалили после того, как он начал публиковать расистские высказывания, восхвалять Гитлера, отрицать холокост и писать откровенные сексуальные комментарии своим подписчикам. Microsoft заявила, что «внесет некоторые коррективы»[624], и год спустя выпустила новый чат-бот под названием Зо, запрограммированный избегать разговоров о политике и религии. Однако вскоре и Зо стал проявлять те же тенденции: «Каран [sic!] очень жесток», – написал он в ответ на вопрос журналиста о здравоохранении. Microsoft поддерживала активность Зо в течение двух с половиной лет[625].

Некоторые из этих историй могут показаться отвратительными, другие вызовут меньше беспокойства, а, возможно, даже позабавят читателей. Но все их объединяет то, что они имеют очень мало общего с экономической мощью и с измерениями благосостояния потребителей, которые не дают экономистам покоя. Они внушают опасения, что новые технологии могут исказить социальные структуры, поддерживающие наше общее существование. Короче говоря, это опасения по поводу политической власти – что крупные технологические компании, а не общество, в котором они работают, контролируют то, как мы сосуществуем.

В случае со Standard Oil проблема политической власти на самом деле не стояла. Беспокойство вызывала ее экономическая мощь и вероятность, что нефть станет слишком дорогой из-за недостаточной конкуренции на рынке. Да, некоторые критики обвиняли Standard Oil в том, что она оказывает пагубное влияние на американскую политику. Но, как показывает юрист и политический теоретик Джейми Сасскинд (мой брат) в своей книге «Политика будущего», в политической власти, которой сегодня располагают крупные технологические компании, есть нечто принципиально иное.

Слово «политика» иногда используется в узком смысле, обозначая только деятельность политиков и процесс принятия решений государством. Именно это имели в виду критики политической власти Standard Oil. Но при правильном понимании политика представляет собой нечто гораздо большее. Речь идет о том, как мы живем вместе в обществе, о всех различных силах, – а не только о людях и институтах традиционного политического процесса, – формирующих нашу коллективную жизнь. Вот почему, называя что-то политическим, мы подразумеваем, что речь идет о чем-то очень важном. Например, это прекрасно понимали участницы движения 1970-х годов за права женщин[626], которое боролось за то, чтобы мир увидел, что наша личная жизнь – секс и отношения, уход за детьми и работа по дому, мода и развлечения – действительно имеет значение, что «личное – это политика». С тем же посылом Джейми Сасскинд пишет, что в наши дни «цифровые технологии – это политика».

В будущем большие технологические компании приобретут еще больше политической власти в этом широком смысле. Как описано в «Политике будущего», эти компании будут устанавливать пределы свободы – здесь можно вспомнить о машине без водителя, которая не может двигаться выше определенной скорости. Они будут формировать будущее демократии – подумайте об электорате, воспитанном на политических фактах, курируемых в соответствии с их личными вкусами и обслуживаемых алгоритмами. И они будут определять вопросы социальной справедливости – подумайте о человеке, чей запрос о финансовом кредите или медицинском лечении отклоняется на основании личных данных, которые он никогда не соглашался передавать[627].

В XX веке больше всего опасений вызывала экономическая мощь крупных компаний. Но в XXI веке нам придется беспокоиться и об их политической силе. Новые технологии могут появляться на рынке в виде продуктов, которые